Text-guided 3D object generation aims to generate 3D objects described by user-defined captions, which paves a flexible way to visualize what we imagined. Although some works have been devoted to solving this challenging task, these works either utilize some explicit 3D representations (e.g., mesh), which lack texture and require post-processing for rendering photo-realistic views; or require individual time-consuming optimization for every single case. Here, we make the first attempt to achieve generic text-guided cross-category 3D object generation via a new 3D-TOGO model, which integrates a text-to-views generation module and a views-to-3D generation module. The text-to-views generation module is designed to generate different views of the target 3D object given an input caption. prior-guidance, caption-guidance and view contrastive learning are proposed for achieving better view-consistency and caption similarity. Meanwhile, a pixelNeRF model is adopted for the views-to-3D generation module to obtain the implicit 3D neural representation from the previously-generated views. Our 3D-TOGO model generates 3D objects in the form of the neural radiance field with good texture and requires no time-cost optimization for every single caption. Besides, 3D-TOGO can control the category, color and shape of generated 3D objects with the input caption. Extensive experiments on the largest 3D object dataset (i.e., ABO) are conducted to verify that 3D-TOGO can better generate high-quality 3D objects according to the input captions across 98 different categories, in terms of PSNR, SSIM, LPIPS and CLIP-score, compared with text-NeRF and Dreamfields.
translated by 谷歌翻译
The task of Compositional Zero-Shot Learning (CZSL) is to recognize images of novel state-object compositions that are absent during the training stage. Previous methods of learning compositional embedding have shown effectiveness in closed-world CZSL. However, in Open-World CZSL (OW-CZSL), their performance tends to degrade significantly due to the large cardinality of possible compositions. Some recent works separately predict simple primitives (i.e., states and objects) to reduce cardinality. However, they consider simple primitives as independent probability distributions, ignoring the heavy dependence between states, objects, and compositions. In this paper, we model the dependence of compositions via feasibility and contextuality. Feasibility-dependence refers to the unequal feasibility relations between simple primitives, e.g., \textit{hairy} is more feasible with \textit{cat} than with \textit{building} in the real world. Contextuality-dependence represents the contextual variance in images, e.g., \textit{cat} shows diverse appearances under the state of \textit{dry} and \textit{wet}. We design Semantic Attention (SA) and generative Knowledge Disentanglement (KD) to learn the dependence of feasibility and contextuality, respectively. SA captures semantics in compositions to alleviate impossible predictions, driven by the visual similarity between simple primitives. KD disentangles images into unbiased feature representations, easing contextual bias in predictions. Moreover, we complement the current compositional probability model with feasibility and contextuality in a compatible format. Finally, we conduct comprehensive experiments to analyze and validate the superior or competitive performance of our model, Semantic Attention and knowledge Disentanglement guided Simple Primitives (SAD-SP), on three widely-used benchmark OW-CZSL datasets.
translated by 谷歌翻译
开放设定的半监督学习(OSSL)引起了人们日益增长的兴趣,该学习调查了一个更实用的情况,在该情况下,仅在未标记的数据中包含了分布式(OOD)样本。现有的OSSL方法(例如OpenMatch)学习一个OOD检测器以识别离群值,该检测器通常会更新所有模态参数(即完整的微调),以从标记的数据传播类信息到未标记的数据。当前,已经开发了及时的学习来弥合预训练和微调之间的差距,这在几个下游任务中显示出较高的计算效率。在本文中,我们提出了一个迅速驱动的有效OSSL框架,称为OpenPrompt,该框架可以将类别的类信息传播到标记到未标记数据的类信息,只有少数可训练的参数。我们提出了一种迅速驱动的关节空间学习机制来检测OOD数据,通过在未标记的数据中最大化ID和OOD样本之间的分布差距,从而使我们的方法可以以新的方式检测到异常值。三个公共数据集的实验结果表明,OpenPrompt优于不到1%可训练参数的最先进方法。更重要的是,OpenPrompt在CIFAR10上完全监督模型的AUROC检测方面取得了4%的改善。
translated by 谷歌翻译
动作检测的任务旨在在每个动作实例中同时推论动作类别和终点的本地化。尽管Vision Transformers推动了视频理解的最新进展,但由于在长时间的视频剪辑中,设计有效的架构以进行动作检测是不平凡的。为此,我们提出了一个有效的层次时空时空金字塔变压器(STPT)进行动作检测,这是基于以下事实:变压器中早期的自我注意力层仍然集中在局部模式上。具体而言,我们建议在早期阶段使用本地窗口注意来编码丰富的局部时空时空表示,同时应用全局注意模块以捕获后期的长期时空依赖性。通过这种方式,我们的STPT可以用冗余的大大减少来编码区域和依赖性,从而在准确性和效率之间进行有希望的权衡。例如,仅使用RGB输入,提议的STPT在Thumos14上获得了53.6%的地图,超过10%的I3D+AFSD RGB模型超过10%,并且对使用其他流量的额外流动功能的表现较少,该流量具有31%的GFLOPS ,它是一个有效,有效的端到端变压器框架,用于操作检测。
translated by 谷歌翻译
多元长序列时间序列预测(M-LSTF)是一个实用但具有挑战性的问题。与传统的计时器序列预测任务不同,M-LSTF任务从两个方面更具挑战性:1)M-LSTF模型需要在多个时间功能之间和多个时间序列之间学习时间序列模式; 2)在滚动预测设置下,两个连续训练样本之间的相似性随着预测长度的增加而增加,这使模型更容易过度拟合。在本文中,我们提出了一个可推广的内存驱动变压器,以靶向M-LSTF问题。具体而言,我们首先提出一个全局级内存组件,以通过集成多个时间序列功能来驱动预测过程。此外,我们采用了一种进步的方式来训练我们的模型以提高其普遍性,在这种情况下,我们逐渐向培训样品引入伯努利的噪音。已经在多个字段上对五个不同的数据集进行了广泛的实验。实验结果表明,我们的方法可以无缝地插入不同的基于变压器的模型中,以提高其性能至大约30%。特别是,这是我们最好的知识专门关注M-LSTF任务的第一项工作。
translated by 谷歌翻译
无监督的域适应性(UDA)方法已广泛用于提高模型在一般计算机视觉中的适应能力。但是,与自然图像不同,在组织病理学图像中不同类别的核存在巨大的语义差距。它仍未探索,我们如何构建通用的UDA模型来精确分割或分类不同数据集的核实例。在这项工作中,我们提出了一个新颖的深神经网络,即用于UDA Nuclei实例分割和分类的类别感知特征对齐和伪标记网络(CAPL-NET)。具体而言,我们首先提出一个具有动态可学习权衡权重的类别级特征对齐模块。其次,我们建议通过基于Nuclei-Level原型特征的伪标签来促进目标数据上的模型性能。关于跨域核实例分割和分类任务的综合实验表明,我们的方法优于最先进的UDA方法。
translated by 谷歌翻译
由于图形神经网络(GNN)在各个域中的出色性能,因此对GNN解释问题越来越感兴趣“ \ emph {输入图的哪一部分是决定模型决定的最关键?}“现有的解释?方法集中在监督的设置,例如节点分类和图形分类上,而无监督的图形表示学习的解释仍未探索。当部署高级决策情况时,图表表示的不透明可能会导致意外风险。在本文中,我们推进了信息瓶颈原理(IB),以解决无监督的图表表示所提出的解释问题,这导致了一个新颖的原理,\ textit {无监督的子图表信息瓶颈}(USIB)。我们还理论上分析了标签空间上图表和解释子图之间的联系,这表明表示的表现力和鲁棒性有益于解释性子图的保真度。合成和现实世界数据集的实验结果证明了我们发达的解释器的优越性以及我们的理论分析的有效性。
translated by 谷歌翻译
由于滥用了深层,检测伪造视频是非常可取的。现有的检测方法有助于探索DeepFake视频中的特定工件,并且非常适合某些数据。但是,这些人工制品的不断增长的技术一直在挑战传统的深泡探测器的鲁棒性。结果,这些方法的普遍性的发展已达到阻塞。为了解决这个问题,鉴于经验结果是,深层视频中经常在声音和面部背后的身份不匹配,并且声音和面孔在某种程度上具有同质性,在本文中,我们建议从未开发的语音中执行深层检测 - 面对匹配视图。为此,设计了一种语音匹配方法来测量这两个方法的匹配度。然而,对特定的深泡数据集进行培训使模型过于拟合深层算法的某些特征。相反,我们提倡一种迅速适应未开发的伪造方法的方法,然后进行预训练,然后进行微调范式。具体而言,我们首先在通用音频视频数据集上预先培训该模型,然后在下游深板数据上进行微调。我们对三个广泛利用的DeepFake数据集进行了广泛的实验-DFDC,Fakeavceleb和DeepFaketimit。与其他最先进的竞争对手相比,我们的方法获得了显着的性能增长。还值得注意的是,我们的方法在有限的DeepFake数据上进行了微调时已经取得了竞争性结果。
translated by 谷歌翻译
零拍学习(ZSL)旨在将分类能力转移到看不见的课程。最近的方法证明,泛化和专业化是在ZSL中实现良好性能的两个基本能力。然而,它们只关注一个能力,导致模型,这些模型太过普遍,具有劣化的分类能力或专注于概括到看不见的课程。在本文中,我们提出了一种端到端网络,具有平衡的泛化和专业化能力,称为BGSNet,利用两种能力,并在实例和数据集级别平衡它们。具体而言,BGSNet由两个分支组成:泛化网络(GNET),它应用epiSodic元学习学习广义知识,以及平衡专业化网络(BSNet),它采用多个细心提取器来提取歧视特征并满足实例级别平衡。一种新颖的自调整分集损失旨在优化具有较少冗余和更多样性的BSNet。我们进一步提出了可分辨性的数据集级别平衡并更新线性退火调度中的权重,以模拟网络修剪,从而以低成本获得BSNet的最佳结构,并且实现了数据集级平衡。四个基准数据集的实验展示了我们模型的效果。足够的组分消融证明了整合泛化和专业能力的必要性。
translated by 谷歌翻译
近年来,可微弱的建筑搜索(飞镖)已经受到了大量的关注,主要是因为它通过重量分享和连续放松来显着降低计算成本。然而,更近期的作品发现现有的可分辨率NAS技术难以俯视幼稚基线,产生劣化架构作为搜索所需。本文通过将体系结构权重放入高斯分布,而不是直接优化架构参数,而不是直接优化架构参数,而是作为分布学习问题。通过利用自然梯度变分推理(NGVI),可以基于现有的码票来容易地优化架构分布而不会产生更多内存和计算消耗。我们展示了贝叶斯原则的可分解NAS如何益处,提高勘探和提高稳定性。 NAS-BENCH-201和NAS-BENCH-1SHOT1基准数据集的实验结果证实了所提出的框架可以制造的重要改进。此外,我们还在学习参数上只需简单地应用argmax,我们进一步利用了NAS中最近提出的无培训代理,从优化分布中汲取的组架构中选择最佳架构,从而实现最终的架构-ART在NAS-BENCH-201和NAS-BENCH-1SHOT1基准上的结果。我们在飞镖搜索空间中的最佳架构也会分别获得2.37 \%,15.72 \%和24.2 \%的竞争性测试错误,分别在Cifar-10,CiFar-100和Imagenet数据集上。
translated by 谷歌翻译